Gisors était un point fortifié secondaire, un avant-poste, une ville frontière entre le Vexin français et le Vexin normand, dépendant du Chateau de Neaufles-Saint-Martin (environ 3 km). Nous savons aussi qu'à l'origine le chateau de Gisors était tenu par Thibaud Payen, fils de Hugues de Chaumont (Chaumont en Vexin) et que celui-ci fut chassé par Guillaume le Roux qui, en 1097, confia à l'architecte Robert de Bellesme la construction sur ce site d'une forteresse plus importante. De la fin du XIème siècle, il ne reste actuellement que la motte artificielle.

Pendant le XIIème siècle, la Normandie étant devenue anglaise, rois de France et d'Angleterre se sont échangés cette place forte à plusieurs reprises. Ainsi le donjon d'origine, vraisemblablement de plan carré, a été repris en partie dans le dojon octogonal reconstruit en 1124 sous Henri Ier Beauclerc après que Thibaud Payen tentant en 1123 de reconquérir Gisors ait incendié le chateau. On reconnaît d'ailleurs des fragments de ce premier donjon dans les parties nord de l'actuel.

Henri Ier Beauclerc fait donc construire le rez de chaussée et le 1er étage de ce donjon. Cela se distingue dans le petit appareil dde blocage irrégulier très différent de l'appareil régulier et en belle pierre taillée des 2 étages ajoutés par Henri II Plantagenêt.

A l'origine, on accédait à ce dojon côté nord par une "passerelle" provisoire en bois que l'on brisait facilement, compliquant ainsi l'ascension de la motte pour l'ennemi qui, posté au pied de celle-ci devenait une proie très vulnérable.

Un peu plus tard, HenriIer fit élever la partie ouest de l'enceinte, Henri II achevant les parties nord et est, prefectionnées par la suite.

De 1145 à 1161, le chateau revint au roi de France Louis VII, qui semble s'être contenté de l'entretenir sans y ajouter quelques modifications que ce soit.

De 1158 à 1161, Louis VII confia la surveillance de la forteresse aux Templiers et en 1161, Henri II Platagenêt le récupéra par subterfuge à l'insu du roi de France.

Jusqu'en 1184, Henri II ne cessa ainsi de fortifier le donjon et les remparts qui le protégeaient.

En 1193, profitant de la captivité de Richard Coeur de Lion, Philippe-Auguste se fit livrer le chateau par le capitaine Gilbert de Vascoeuil. Sans attendre le retour de son adversaire, il entreprit de gros travaux : construction de la Tour dit "du Prisonnier", remplacement de la Tour du Gouverneur dont il double la porte et à laquelle il ajoute une tout ronde : la Tour Blanche.